Quantifying the perceptual similarity of two images is a long-standing problem in low-level computer vision. The natural image domain commonly relies on supervised learning, e.g., a pre-trained VGG, to obtain a latent representation. However, due to domain shift, pre-trained models from the natural image domain might not apply to other image domains, such as medical imaging. Notably, in medical imaging, evaluating the perceptual similarity is exclusively performed by specialists trained extensively in diverse medical fields. Thus, medical imaging remains devoid of task-specific, objective perceptual measures. This work answers the question: Is it necessary to rely on supervised learning to obtain an effective representation that could measure perceptual similarity, or is self-supervision sufficient? To understand whether recent contrastive self-supervised representation (CSR) may come to the rescue, we start with natural images and systematically evaluate CSR as a metric across numerous contemporary architectures and tasks and compare them with existing methods. We find that in the natural image domain, CSR behaves on par with the supervised one on several perceptual tests as a metric, and in the medical domain, CSR better quantifies perceptual similarity concerning the experts' ratings. We also demonstrate that CSR can significantly improve image quality in two image synthesis tasks. Finally, our extensive results suggest that perceptuality is an emergent property of CSR, which can be adapted to many image domains without requiring annotations.

The role of mobile cameras increased dramatically over the past few years, leading to more and more research in automatic image quality enhancement and RAW photo processing. In this Mobile AI challenge, the target was to develop an efficient end-to-end AI-based image signal processing (ISP) pipeline replacing the standard mobile ISPs that can run on modern smartphone GPUs using TensorFlow Lite. The participants were provided with a large-scale Fujifilm UltraISP dataset consisting of thousands of paired photos captured with a normal mobile camera sensor and a professional 102MP medium-format FujiFilm GFX100 camera. The runtime of the resulting models was evaluated on the Snapdragon's 8 Gen 1 GPU that provides excellent acceleration results for the majority of common deep learning ops. The proposed solutions are compatible with all recent mobile GPUs, being able to process Full HD photos in less than 20-50 milliseconds while achieving high fidelity results. A detailed description of all models developed in this challenge is provided in this paper.

在各个领域（例如政治，健康和娱乐）中的真实和虚假新闻每天都通过在线社交媒体传播，需要对多个领域进行虚假新闻检测。其中，在政治和健康等特定领域中的虚假新闻对现实世界产生了更严重的潜在负面影响（例如，由Covid-19的错误信息引导的流行病）。先前的研究着重于多域假新闻检测，同样采矿和建模域之间的相关性。但是，这些多域方法遇到了SEESAW问题：某些域的性能通常会以损害其他域的性能而改善，这可能导致在特定领域的表现不满意。为了解决这个问题，我们建议一个用于假新闻检测（DITFEND）的域和实例级传输框架，这可以改善特定目标域的性能。为了传递粗粒域级知识，我们从元学习的角度训练了所有域数据的通用模型。为了传输细粒度的实例级知识并将一般模型调整到目标域，我们在目标域上训练语言模型，以评估每个数据实例在源域中的可传递性，并重新赢得每个实例的贡献。两个数据集上的离线实验证明了Ditfend的有效性。在线实验表明，在现实世界中，Ditfend对基本模型带来了更多改进。

医疗报告的生成是一项具有挑战性的任务，因为它耗时，需要经验丰富的放射科医生的专业知识。医疗报告生成的目的是准确捕获和描述图像发现。先前的作品在不同域中使用大型数据集预处理其视觉编码神经网络，这些数据集无法在特定的医疗领域中学习一般的视觉表示。在这项工作中，我们提出了一个医学报告生成框架，该框架使用对比度学习方法来预处理视觉编码器，并且不需要其他元信息。此外，我们在对比度学习框架中采用肺部分割作为增强方法。该分割指导网络专注于编码肺部区域内的视觉特征。实验结果表明，所提出的框架可以在定量和定性上提高生成的医疗报告的性能和质量。

人类运动转移是指合成的照片现实和时间连贯的视频，使一个人能够模仿他人的运动。但是，当前的合成视频遭受了序列帧的时间不一致，这些框架显着降低了视频质量，但远未通过像素域中的现有方法来解决。最近，由于图像合成方法的频率不足，一些有关DeepFake检测的作品试图区分频域中的自然图像和合成图像。尽管如此，从自然和合成视频之间的频域间隙方面的各个方面研究合成视频的时间不一致。在本文中，我们建议深入研究频率空间，以进行时间一致的人类运动转移。首先，我们对频域中的自然和合成视频进行了首次综合分析，以揭示单个帧的空间维度和视频的时间维度的频率差距。为了弥补自然视频和合成视频之间的频率差距，我们提出了一个新型的基于频率的人类运动转移框架，名为Fremotr，该框架可以有效地减轻空间伪像以及合成视频的时间不一致。 Fremotr探索了两个基于频率的新型正则化模块：1）频域外观正则化（FAR），以改善个人在单个帧中的外观和2）时间频率正则化（TFR），以确保相邻框架之间的时间一致性。最后，全面的实验表明，FremoTR不仅在时间一致性指标中产生卓越的性能，而且还提高了合成视频的框架级视觉质量。特别是，时间一致性指标比最新模型提高了近30％。

脑小血管疾病的成像标记提供了有关脑部健康的宝贵信息，但是它们的手动评估既耗时又受到实质性内部和间际变异性的阻碍。自动化评级可能受益于生物医学研究以及临床评估，但是现有算法的诊断可靠性尚不清楚。在这里，我们介绍了\ textIt {血管病变检测和分割}（\ textit {v textit {where valdo？}）挑战，该挑战是在国际医学图像计算和计算机辅助干预措施（MICCAI）的卫星事件中运行的挑战（MICCAI） 2021.这一挑战旨在促进大脑小血管疾病的小而稀疏成像标记的自动检测和分割方法的开发，即周围空间扩大（EPVS）（任务1），脑微粒（任务2）和预先塑造的鞋类血管起源（任务3），同时利用弱和嘈杂的标签。总体而言，有12个团队参与了针对一个或多个任务的解决方案的挑战（任务1 -EPVS 4，任务2 -Microbleeds的9个，任务3 -lacunes的6个）。多方数据都用于培训和评估。结果表明，整个团队和跨任务的性能都有很大的差异，对于任务1- EPV和任务2-微型微型且对任务3 -lacunes尚无实际的结果，其结果尤其有望。它还强调了可能阻止个人级别使用的情况的性能不一致，同时仍证明在人群层面上有用。

最近，对深度学习进行了广泛的研究，以加速动态磁共振（MR）成像，并取得了令人鼓舞的进步。但是，如果没有完全采样的参考数据进行培训，当前方法可能在恢复细节或结构方面具有有限的能力。为了应对这一挑战，本文提出了一个自我监督的协作学习框架（SelfCollearn），以从无效的K-Space数据中进行准确的动态MR图像重建。拟议的框架配备了三个重要组成部分，即双网络协作学习，重新启动数据增强和专门设计的共同培训损失。该框架可以灵活地与数据驱动的网络和基于模型的迭代未滚动网络集成。我们的方法已在体内数据集上进行了评估，并将其与四种最新方法进行了比较。结果表明，我们的方法具有很强的能力，可以从无效的K空间数据捕获直接重建的基本和固有表示形式，因此可以实现高质量且快速的动态MR成像。

面部表达是传达人类情绪状态和意图的重要因素。尽管在面部表达识别任务（FER）任务中已经取得了显着进步，但由于表达模式的巨大变化和不可避免的数据不确定性而引起的挑战仍然存在。在本文中，我们提出了中级表示增强（MRE）和嵌入图形抑制（GUS）的图表，以解决这些问题。一方面，引入MRE是为了避免表达表示学习以有限数量的高度歧视模式主导。另一方面，引入GUS以抑制表示空间中的特征歧义。所提出的方法不仅具有更强的概括能力来处理表达模式的不同变化，而且具有更强的稳健性来捕获表达表示。对AFF-WILD2的实验评估已验证了该方法的有效性。

B扫描超声模式中图像的精确和快速分类对于诊断眼部疾病至关重要。然而，在超声波中区分各种疾病仍然挑战经验丰富的眼科医生。因此，在这项工作中开发了一个新颖的对比度截面网络（CDNET），旨在应对超声图像中眼异常的细粒度图像分类（FGIC）挑战，包括眼内肿瘤（IOT），视网膜脱离（RD），后堆肥葡萄球菌（PSS）和玻璃体出血（VH）。 CDNET的三个基本组成部分分别是弱监督的病变定位模块（WSLL），对比度多Zoom（CMZ）策略和超级性对比度分解损失（HCD-LOSS）。这些组件促进了在输入和输出方面的细粒度识别的特征分离。所提出的CDNET在我们的ZJU Ocular Ultrasound数据集（Zjuuld）上进行了验证，该数据集由5213个样品组成。此外，在两个公共且广泛使用的胸部X射线FGIC基准上验证了CDNET的概括能力。定量和定性结果证明了我们提出的CDNET的功效，该CDNET在FGIC任务中实现了最新的性能。代码可在以下网址获得：https：//github.com/zeroonegame/cdnet-for-ous-fgic。

数码相机的加速使用引起了人们对隐私和安全性的日益关注，尤其是在诸如行动识别之类的应用程序中。在本文中，我们提出了一个优化框架，以沿着人类行动识别管道提供强大的视觉隐私保护。我们的框架参数化了相机镜头，以成功地降低视频的质量，以抑制隐私属性并防止对抗性攻击，同时保持相关功能以进行活动识别。我们通过广泛的模拟和硬件实验来验证我们的方法。